Constraint-based graphical layout of multimodal presentations

When developing advanced multimodal interfaces, combining the characteristics of different modalities such as natural language, graphics, animation, virtual realities, etc., the question of automatically designing the graphical layout of such presentations in an appropriate format becomes increasingly important. So, to communicate information to the user in an expressive and effective way, a knowledge-based layout component has to be integrated into the architecture of an intelligent presentation system. In order to achieve a coherent output, it must be able to reflect certain semantic and pragmatic relations specified by a presentation planner to arrange the visual appearance of a mixture of textual and graphic fragments delivered by mode-specific generators. In this paper we will illustrate by the example of LayLab, the layout manager of the multimodal presentation system WIP, how the complex positioning problem for multimodal information can be treated as a constraint satisfaction problem. The design of an aesthetically pleasing layout is characterized as a combination of a general search problem in a finite discrete search space and an optimization problem. Therefore, we have integrated two dedicated constraint solvers, an incremental hierarchy solver and a finite domain solver, in a layered constraint solver model CLAY, which is triggered from a common metalevel by rules and defaults. The underlying constraint language is able to encode graphical design knowledge expressed by semantic/pragmatic, geometrical/topological, and temporal relations. Furthermore, this mechanism allows one to prioritize the constraints as well as to handle constraint solving over finite domains. As graphical constraints frequently have only local effects, they are incrementally generated by the system on the fly. Ultimately, we will illustrate the functionality of LayLab by some snapshots of an example run

LAYLAB : a constraint-based layout manager for multimedia presentations

When developing advanced intelligent user interfaces composing text, graphics, animation, hypermedia etc., the question of automatically designing the graphical layout of such multimedia presentations in an appropriate format plays a crucial role. This paper introduces the task, the functionality and the architecture of the constraint-based multimedia layout manager LayLab

Constraint-basierte Verarbeitung graphischen Wissens

Bei der Entwicklung neuerer intelligenter Benutzerschnittstellen, die wie im Beispiel des multimodalen Präsentationssystems WIP natürliche Sprache und Graphik kombinieren, spielt insbesondere die wissensbasierte Gestaltung des Layouts multimodaler Dokumente eine wichtige Rolle. Am Beispiel des Layout-Managers in WIP soll gezeigt werden, wie aufgrund der von einem Präsentationsplaner spezifizierten semantischen und pragmatischen Relationen, die von den media-spezifischen Generatoren erzeugten Graphik- und Textfragmente in einem Dokument automatische arrangiert werden können. Dabei wird das Layoutproblem als Constraint-Satisfaction-Problem behandelt. Es wird hier gezeigt, wie der Constraint-Ansatz sowohl zur Repräsentation von graphischem Wissen, als auch zur Berechnung der Platzierung der Layoutobjekte auf einem Design-Grid verwendet werden kann. So werden semantische Kohärenzrelationen wie etwa "sequence" oder "contrast" durch entsprechende Design-Constraints reflektiert, die perzeptuelle Kriterien (Alignierung, Gruppierung, Symmetrie, etc.) spezifizieren. Zur Realisierung wird in WIP ein mehrschichtiger inkrementeller Constraint-Solver mit lokaler Propagierung verwendet, der es erlaubt, Constraints dynamisch zu generieren

Perspektiven zur Kombination von automatischem Animationsdesign und planbasierter Hilfe

Aktuelle Themen auf dem Gebiet der intelligenten Benutzerschnittstellen behandeln derzeit die automatische Planung multimodaler Präsentationen. Hierbei stand bisher im wesentlichen die koordinierte Generierung von Text und Graphik im Vordergrund. In Zukunft wird hier aufgrund der Komplexität der zu präsentierenden Information zunehmend auch die Einbeziehung realistischer animierter 3D-Graphiken gefordert sein. Einen anderen wichtigen Forschungsschwerpunkt bildet der Einsatz graphischer Ausgabekomponenten für planbasierte Hilfesysteme. Die vorliegende Arbeit hat zum Ziel zunächst einen Überblick über den derzeitigen Stand der Forschung in diesen beiden Bereichen zu geben, als auch neue Anforderungen an die automatische Animationsgenerierung und an Systeme zur planbasierten graphischen Hilfe zu formulieren. Anschließend wollen wir, basierend auf Ergebnissen und Erfahrungen aus WIP und PLUS, Perspektiven für eine mögliche Weiterentwicklung und Integration von Techniken der Animationsplanung und graphischen Hilfe präsentieren

Research in constraint-based layout, visualization, CAD, and related topics : a bibliographical survey

The present work compiles numerous papers in the area of computer-aided design, graphics, layout configuration, and user interfaces in general. There is nearly no conference on graphics, multimedia, and user interfaces that does not include a section on constraint-based graphics; on the other hand most conferences on constraint processing favour applications in graphics. This work of bibliographical pointers may serve as a basis for a detailed and comprehensive survey of this important and challenging field in the intersection of constraint processing and graphics. In order to reach this ambitious aim, and also to keep this study up-to-date, the authors appreciate any comment and update information

Using graphical style and visibility constraints for a meaningful layout in visual programming interfaces

In the expanding field of visual applications, layout design and graphical editing tasks are crucial points. In this paper, we address the incorporation of AI aspects in the visual software design process and the automatic layout and beautification of informational graphics such as visual programs and chart diagrams. Since layout in dynamic settings frequently requires a direct manipulation responsiveness, an incremental redesign of the generated visual material is necessary. Following our previous work on constraint-based multimodal design, we show how powerful constraint processing techniques, such as constraint hierarchies and dynamic constraint satisfaction, can be applied to visual programming environments in order to maintain graphical style and consistency for a meaningful layout. We describe InLay, a system for constraint-based presenting and editing visual programs. Finally, we will have a short look at some extensions with regard to advanced interaction and visualization techniques

LAYLAB : ein System zur automatischen Plazierung von Text-Bild-Kombinationen in multimodalen Dokumenten

Im Bereich der intelligenten Benutzerschnittstellen besteht derzeit, bedingt durch die wachsende Komplexität der von wissensbasierten Anwendungssystemen zu übermittelnden Information, ein zunehmender Bedarf an Werkzeugen zur flexiblen und effizienten Informationspräsentation. Neben Sprache spielt beim Design von (elektronischen) Dokumenten die Verwendung von graphischen Darstellungen sowie eine Kombinationen dieser beiden Medien zur Informationsvermittlung eine entscheidende Rolle. Während heute in der Regel solche Graphiken noch manuell erstellt werden, z.B. mittels interaktiver 3D-Graphikeditoren, bestand die Aufgabe in diesem Fortgeschrittenenpraktikum darin, Graphiken in Abhängigkeit von bestimmten Generierungsparametern wie Präsentationsziel, Präsentationssituation, Zielgruppe, Ausgabemedium, etc. automatisch zu erzeugen. Eine zentrale Rolle spielte dabei die Repräsentation von Wissen über die Verwendung von Graphik. Zum einen sollte Wissen über Objekte und Darstellungstechniken in den Entwurfsprozeß einfließen, zum anderen war der Bildinhalt zu repräsentieren, um beispielsweise darauf natürlichsprachlich Bezug nehmen zu können. In dieser Arbeitsgruppe stand die Entwicklung einer automatischen Plazierungskomponente zur Gestaltung des Layouts von multimodalen Dokumenten im Vordergrund, während sich zwei weitere Gruppen mit der wissensbasierten Anwendung spezieller Graphiktechniken (z.B. Explosion, Aufriß, Annotation) befaßten. Die vorliegende Arbeit beschreibt die prototypische Implementierung des Systems LayLab, einem Experimentiersystem zum automatischen Layout multimodaler Präsentationen, das im Kontext des WIP-Projektes entwickelt wurde. Als Programmierungumgebung standen hierzu Symbolics Lisp-Maschinen und Apple MacIvory Workstations zur Verfügung. Bei der Entwicklung konnte auf einen Lisp-basierten interaktiven 3D-Graphikeditor (S-Geometry) sowie die objektorientierte Symbolics Fensterumgebung zurückgegriffen werden

Constraint-basierte Verarbeitung graphischen Wissens

Bei der Entwicklung neuerer intelligenter Benutzerschnittstellen, die wie im Beispiel des multimodalen Präsentationssystems WIP natürliche Sprache und Graphik kombinieren, spielt insbesondere die wissensbasierte Gestaltung des Layouts multimodaler Dokumente eine wichtige Rolle. Am Beispiel des Layout-Managers in WIP soll gezeigt werden, wie aufgrund der von einem Präsentationsplaner spezifizierten semantischen und pragmatischen Relationen, die von den media-spezifischen Generatoren erzeugten Graphik- und Textfragmente in einem Dokument automatische arrangiert werden können. Dabei wird das Layoutproblem als Constraint-Satisfaction-Problem behandelt. Es wird hier gezeigt, wie der Constraint-Ansatz sowohl zur Repräsentation von graphischem Wissen, als auch zur Berechnung der Platzierung der Layoutobjekte auf einem Design-Grid verwendet werden kann. So werden semantische Kohärenzrelationen wie etwa "sequence" oder "contrast" durch entsprechende Design-Constraints reflektiert, die perzeptuelle Kriterien (Alignierung, Gruppierung, Symmetrie, etc.) spezifizieren. Zur Realisierung wird in WIP ein mehrschichtiger inkrementeller Constraint-Solver mit lokaler Propagierung verwendet, der es erlaubt, Constraints dynamisch zu generieren

Research in constraint-based layout, visualization, CAD, and related topics : a bibliographical survey

The present work compiles numerous papers in the area of computer-aided design, graphics, layout configuration, and user interfaces in general. There is nearly no conference on graphics, multimedia, and user interfaces that does not include a section on constraint-based graphics; on the other hand most conferences on constraint processing favour applications in graphics. This work of bibliographical pointers may serve as a basis for a detailed and comprehensive survey of this important and challenging field in the intersection of constraint processing and graphics. In order to reach this ambitious aim, and also to keep this study up-to-date, the authors appreciate any comment and update information

Perspektiven zur Kombination von automatischem Animationsdesign und planbasierter Hilfe

Aktuelle Themen auf dem Gebiet der intelligenten Benutzerschnittstellen behandeln derzeit die automatische Planung multimodaler Präsentationen. Hierbei stand bisher im wesentlichen die koordinierte Generierung von Text und Graphik im Vordergrund. In Zukunft wird hier aufgrund der Komplexität der zu präsentierenden Information zunehmend auch die Einbeziehung realistischer animierter 3D-Graphiken gefordert sein. Einen anderen wichtigen Forschungsschwerpunkt bildet der Einsatz graphischer Ausgabekomponenten für planbasierte Hilfesysteme. Die vorliegende Arbeit hat zum Ziel zunächst einen Überblick über den derzeitigen Stand der Forschung in diesen beiden Bereichen zu geben, als auch neue Anforderungen an die automatische Animationsgenerierung und an Systeme zur planbasierten graphischen Hilfe zu formulieren. Anschließend wollen wir, basierend auf Ergebnissen und Erfahrungen aus WIP und PLUS, Perspektiven für eine mögliche Weiterentwicklung und Integration von Techniken der Animationsplanung und graphischen Hilfe präsentieren